Python爬虫&可视化第2季-舌尖上的“小龙虾”
作者：徐麟，数据分析师，就职于上海唯品会。热爱数据挖掘和分析，喜欢用R、Python玩点不一样的数据。
个人公众号：数据森麟（微信ID：shujusenlin）
前文传送门：
前言：
上期内容与大家分享了一些旅游的内容，从本期开始，会陆续分享一些为吃货们量身定制的文章。世界杯激战正酣，大家在欣赏精彩比赛的同时，怎能少了美食的陪伴，我们今天就来聊聊世界杯的好丽友-小龙虾。
PART1：获得数据
本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅
从上图中可以看出，我们可以获得餐厅的人均消费、点评数量、推荐菜、评分（口味、环境、服务）等信息，用于我们之后的分析。我们此次总共爬取到了225个城市，6758个餐厅，121.3万条评论。
我们截取其中的部分核心代码：
def find_city_page(path):
data = pd.read_excel(path)
city_lobster_page = pd.DataFrame()
driver = webdriver.Chrome()
for i in range(0,len(data)):
try:
js='window.open("'+data['city_lobster_url'][i]+'")'
driver.execute_script(js)
bsObj = BeautifulSoup(driver.page_source,'html.parser')
bs = bsObj.find_all('a',attrs={'class':'PageLink'})
this_city_lobster={'city_name':data['city_name'][i],
'page_num':max([int(l.text ) for l in bs])}
city_lobster_page = city_lobster_page.append(this_city_lobster,ignore_index=True)
except:
continue
return city_lobster_pagePART2: 城市对比
我们首先要进行分析的是各个城市的小龙虾热度，我们以带有“小龙虾”标签的餐厅评论总和作为最终的对比依据，得到的TOP20城市如下：
可以看出上海市的点评数遥遥领先，可能存在以下两个因素：a.上海市的小龙虾餐厅数量较多，本身存在较大的消费群体 b.大众点评总部在上海，上海的商户入驻数量较多。有兴趣的朋友可以进行更深一步的研究。
圈定了TOP20城市后，我们首先看一下TOP20城市小龙虾的人均消费
紧接着要看的是TOP20城市味道、环境、服务三部分的分数情况：
我们发现服务分与环境分排序相同，二者具有极强的相关性，符合通常认知。同时可以看到在三项分数中，北方的四个城市天津、西安、北京、青岛各项指标均处于靠前的位置，其中天津的服务和环境均处于首位。
结合下图全国小龙虾热力图，似乎有些有悖于大家的认知。
由此我们可以得出在小龙虾整体热度比较强的区域，人们对于小龙虾各方面的要求会相应提高，相反在整体热度偏低区域，人们评价时会相对宽容。同时我们看到海口的各项指标均处于最后一位，需要进行相应的调整。
PART3: 探索龙虾
我们看过了各个城市的情况后，进一步看一下小龙虾本身的一些有趣的内容，首先看一下龙虾的口味，我们选取了各个餐厅中带有龙虾的推荐菜，分词后获得TOP20的口味
十三香、蒜蓉、麻辣高居前三位，根据作者的经验，这基本上是符合大家整体口味的选择。TOP20中的蛋黄，白灼对于作者而言相对陌生，有品尝过的朋友可以分享一些这些口味的体验。
看完了口味，再看一下龙虾的好丽友
螺丝、花甲、毛豆位高居TOP3，看来大家吃龙虾的时候，会希望同时选择一些不用摘手套就可以享用的食物，毕竟吃的过程中频繁摘手套会比较费劲。
PART4: 龙虾画像
目前互联网公司中非常普遍地会进行一些人群画像的分析，我们在这里借用一下这个概念，也为小龙虾绘制一副专属的画像，下面展示的两幅图分别是词云图和模板原图
部分词云绘制代码如下：
# 解析小龙虾图片
back_color = imread('小龙虾.jpg') # 解析该图片
# 参数配置
wc = WordCloud(background_color='white', # 背景颜色
max_words=300, # 最大词数
mask=back_color, # 以该参数值作图绘制词云，这个参数不为空时，width和height会被忽略
max_font_size=100, # 显示字体的最大值
font_path="C:/Windows/Fonts/simhei.ttf", # 解决显示口字型乱码问题，可进入C:/Windows/Fonts/目录更换字体
random_state=4, # 为每个词返回一个PIL颜色
#width=2000, # 图片的宽
#height=1860 #图片的长
)
# 通过encounter计数器生成词云
wc.generate_from_frequencies(word_counts)
# 基于彩色图像生成相应彩色
image_colors = ImageColorGenerator(back_color)
# 绘制词云
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')PART5: 特（hei）色（an）龙虾
文章最后我们放上几个之前分词发现的特色口味龙虾，或许下一个网红龙虾就在其中
Python爱好者社区历史文章大合集：
Python爱好者社区历史文章列表（每周append更新一次）
关注后在公众号内回复“课程”即可获取：
小编的Python入门免费视频课程！！！
【最新免费微课】小编的Python快速上手matplotlib可视化库！！！
崔老师爬虫实战案例免费学习视频。
陈老师数据分析报告制作免费学习视频。
玩转大数据分析！Spark2.X+Python 精华实战课程免费学习视频。